Gaddafi là con út trong một gia đình nông dân. Theo chính thức cha ông là Mohammed Abdul Salam bin Hamed bin Mohammed Al-Gaddafi, còn gọi là Abu Meniar (m. năm 1985). Tuy nhiên trong The Times có thông tin về khả năng cha thực của ông là một sĩ quan Pháp.[22] Mẹ ông là Aisha Bin Niran. Ít điều được biết về tuổi thơ của Gaddafi. Ông từng nói rằng khi ông lên năm ông có một người anh bị một binh sĩ Israel giết hại. Tuy nhiên, tuyên bố này bị nghi ngờ bởi IDF mãi tới ngày 26 tháng 5 năm 1948 mới được thành lập, khi Gaddafi sáu tuổi. Khi còn nhỏ ông được các bạn gọi là 'al-jamil' hay 'người đẹp trai'. Ông lớn lên tại vùng sa mạc Sirte. Ông tiếp thu một nền giáo dục tiểu học tôn giáo truyền thống và vào trường dự bị Sebha ở Fezzan từ năm 1956 đến năm 1961. Gaddafi và một nhóm vài người bạn ông đã gặp tại trường thành lập một hình thức lãnh đạo trung tâm của một nhóm chiến binh cách mạng sau này sẽ nắm quyền lực tại đất nước. Người tạo cảm hứng cho Gaddafi là Gamal Abdel Nasser, tổng thống nước Ai Cập láng giềng, người đã lên giữ chức tổng thống bằng cách kêu gọi một sự thống nhất Ả Rập. Năm 1961, Gaddafi bị trục xuất khỏi Sebha vì các hoạt động chính trị.[cần dẫn nguồn]

Gaddafi vào viện hàn lâm quân sự ở Benghazi năm 1963, nơi ông và vài người bạn thành lập một nhóm bí mật với mục đích lật đổ chế độ quân chủ Libya có lập trường ủng hộ phương Tây. Sau khi tốt nghiệp năm 1965, ông được gửi tới Anh Quốc để tiếp tục học tại Staff College của Quân đội Anh, hiện là Joint Services Command and Staff College, về nước năm 1966 với tư cách một sĩ quan uỷ nhiệm trong Signal Corps.[cần dẫn nguồn]